Where Did It Go Wrong? Process-Level Evaluation of Web Agents with Semantic State Tracking
哪里出错了？基于语义状态追踪的Web代理过程层评估
🧭 Web Agent 过程评估与技能诊断
Yonsei University · Microsoft Research
提出基于语义MDP的过程评估基准WebStep，通过技能分解与分叉分析定位Agent在探索与执行上的细微差异
📌 工作参考价值（4 点）
- 多步交互Agent的过程监控：电商搜索、推荐场景中Agent需多轮导航（如筛选商品、填写订单），可借鉴WebStep构建语义状态机，跟踪关键语义转移（如“已选品类”、“完成比价”），而不仅是最终转化，实现细粒度诊断。
- 技能分解定位薄弱环节：将Agent能力拆解为探索（信息搜集）与执行（提交操作）等技能，按动作类型统计成功率，可发现模型在“过滤条件设置”强但在“最终下单”弱，从而定向优化提示或微调数据。
- 分叉分析定位关键错误：追踪任务失败前状态分叉点，识别导致失败的决定性错误（如遗漏必填项），分析该错误是否为Agent特有，有助于集中修复高频Agent特异性缺陷，而非泛泛优化整体能力。
- 难度自适应评估：任务难度缩放设计可揭示Agent在不同复杂性下的表现分化，用于制定上线策略：简单任务用低成本Agent，复杂任务触发更强大的模型或人工兜底。